Loke dilahirkan kepada ibu bapa yang rendah hati di kampung Dongjiang, daerah Heshan, wilayah Guangdong, China, pada tahun 1845. Beliau merupakan anak tunggal dalam keluarga empat anak, dan menghabiskan zaman kanak-kanaknya sebelum memutuskan untuk berlayar ke Tanah Melayu untuk mencari rezeki. Beliau berusia 13 tahun kemudian. Wong menggugurkan nama keluarga Wong ketika tiba di Singapura, dan menukar nama pertengahannya menjadi 陸 (Lù) dan mengambilnya sebagai nama keluarganya kerana beliau fikir nama baru lebih baik. Saudara-saudaranya mencadangkannya untuk pekerjaan pertamanya di Kwong Man General Store, kedai peruntukan di Market Street dan memperoleh $20 sebulan. Loke muda berjimat dan berjaya menyelamatkan $ 99 selepas 4 tahun kerja keras. Dengan wang itu, beliau memulakan kedai peruntukannya sendiri yang dikenali sebagai Tong Hing Loong. Perniagaannya secara beransur-ansur berkembang dan Loke meninggalkan kakitangannya yang bertanggungjawab ke kedai ketika dia pergi ke utara Malaya, khususnya Perak untuk meneroka perniagaan perlombongan bijih timah.[2]